Saito sinh ở quận Mushashi, thành phố Edo (hiện là thủ đô Tokyo). Có rất ít thông tin về tuổi thơ của ông. Ông được sinh ra với tên khai sinh Yamaguchi Hajime bởi cha là Yamaguchi Yuusuke và mẹ Yamaguchi Masu, có một người anh trai tên Hiroaki và một chị gái tên Katsu (sau này kết hôn với Soma Yoshiaki, một đại phu của gia độc Tokugawa). Cái tên Hajime của ông có nghĩa là "lần đầu tiên", "sự khởi đầu" vì theo âm lịch, Saito sinh ngày 1 tháng 1. Năm Ansei thứ 5 (1858), Saito tiến hành nghi lễ nguyên phục (genpuku: nghi lễ công nhận một người đã trưởng thành). Sau đó bắt đầu học kiếm thuật. Năm 1862, ông rời Edo sau khi ngộ sát một hatamoto (tước vị samurai cấp cao, có quyền hội kiến với Tướng quân, vai trò như một cận vệ của Mạc phủ), tới sống tại Kyoto. Tại đây, Saito trở thành quyền sư phụ ở võ đường Yoshida (do Yoshida Katsumi sáng lập).

Trong thời gian còn ở Edo, Saito đã gặp gỡ và quen biết Kondou cùng những thành viên khác của Thí vệ quán (Shieikan). Tới năm 1863, Saito gặp lại họ và gia nhập vào Shinsengumi (lúc này vẫn còn mang tên Miburoushi), sau đó trở thành đội trưởng đội 3 của nhóm này.